TAO: Tool-Aware Joint Scheduling for LLM-Based Agentic Serving
TAO：面向LLM Agent服务的工具感知联合调度框架
🧭 Agent 服务调度优化
Shanghai Jiao Tong University · Stanford University
提出工具感知联合调度框架TAO，融合工具就绪度、缓存信用与token占用进行动态规划调度，显著降低延迟和TTFT
📌 工作参考价值（4 点）
- 在 LLM Agent 服务中，工具调用（如商品检索、数据库查询、API 调用）会使 GPU 推理可中断，调度时需将「工具返回就绪时间」纳入准入/放置决策，避免 GPU 空转和资源浪费。
- 借鉴 TAO 的 value interface：组合「近期工具就绪度 + 节点级缓存信用（时间衰减）+ token footprint」来评估一个 session 的调度价值，而不是只看队列长度或显存。
- 动态规划联合选择等待中的 sessions 并放置到 GPU 节点，在容量约束下最大化整体收益，比启发式 admission/placement 更优；可实现在线调度器，在 GPU 空闲或工具返回事件时触发。
- 如果推荐/搜索 Agent 涉及多步工具调用（如商品召回、属性查询、库存检查），可以对工具返回时间做预测或标记，并结合 prefix cache 命中（例如共享 system prompt 或工具 schema）优先调度相似 session 以提高 decode throughput。